Frank Sinatra, decedat în 1998, a lansat o melodie nouă și asta ne arată că muzica deepfake e tot mai ciudată

Inteligența artificială este folosită pentru a crea piese noi interpretate aparent de Frank Sinatra și alte staruri care nu mai sunt de mult timp în viață. Deepfakes sunt trucuri drăguțe – dar ar putea schimba muzica pentru totdeauna.

“It’s Christmas time! It’s hot tub time!” cântă Frank Sinatra – sau cel puțin, ceva care sună ca el. Cu un leagăn ușor, veselie și inflexiuni fine, acest lucru ar putea trece aproape ca o demonstrație Sinatra de mult pierdută.

Chiar și vocea – acel ton bogat descris odată ca fiind “doar llegato și regret” – este extrem de familiară, chiar dacă se clatină între note și, uneori, sună de parcă ar fi fost înregistrată într-o piscină.

Frank Sinatra nu a renăscut, l-a renăscut tehnologia

Melodia în cauză nu este o piesă autentică, ci un fals convingător creat de “compania de cercetare și implementare” OpenAI, al cărui proiect Jukebox folosește inteligența artificială pentru a genera muzică, completată cu versuri, într-o varietate de genuri și stiluri.

Alături de Sinatra, compania a creat ceea ce sunt cunoscute sub numele de “deepfakes” ale lui Elvis, Katy Perry, Simon și Garfunkel, 2Pac, Céline Dion și mulți alții.

După ce a instruit modelul folosind 1,2 milioane de melodii găsite pe web, completate cu versurile și metadatele corespunzătoare, acesta este capabil să emită un sunet brut de câteva minute, pe baza oricărui feed.

Poți introduce, să zicem, Queen sau Dolly Parton sau Mozart și vei obține o aproximare fidelă a vocii.

“Ca piesă de inginerie, este cu adevărat impresionant”, spune dr. Matthew Yee-King, muzician electronic, cercetător și academic la Goldsmiths.

“Ei descompun un semnal audio într-un set de lexeme de muzică – un fel de dicționar, să-i spunem – cu trei straturi diferite de timp, oferind un set de fragmente de bază care este suficient pentru a reconstrui muzica cu care a fost alimentat.

Algoritmul poate apoi rearanja aceste fragmente, pe baza stimulului introdus. Așadar, dacă îi oferi algoritmului câteva fragmente de la Ella Fitzgerald, de exemplu, acesta va găsi și compune fragmentele relevante ale “dicționarului” pentru a crea ceva în arealul ei muzical”, a explicat Yee-King.

Alt domeniu pe care ni-l fură roboții sau o nouă oportunitate?

Muzica deepfake va avea ramificații pe scară largă pentru industria muzicală, deoarece mai multe companii aplică algoritmi muzicali. Proiectul Magenta Google – numit “explorarea învățării automate ca instrument în procesul creativ” – a dezvoltat mai multe API-uri open source care permit compunerea utilizând sunete complet noi, generate de mașini, sau co-creații AI-om.

Numeroase start-up-uri, cum ar fi Amper Music, produc muzică personalizată, generată de AI pentru conținut media, completată cu drepturi de autor globale. Chiar și Spotify intră in cursă; grupul său de cercetare AI este condus de François Pachet, fost șef al laboratorului de informatică Sony Music.

Cu toate acestea, nu este greu să se prevadă modul în care asemenea deepfakes ar putea duce la probleme de proprietate etică și intelectuală.

Dacă nu vrei să plătești drepturile pentru utilizarea muzicii unui artist consacrat într-un film, emisiune TV sau reclamă, îți poți crea propria imitație.

Între timp, serviciile de streaming ar putea extinde listele de redare de genuri cu artiști similari AI, crescând astfel profiturile. În cele din urmă, serviciile de streaming, posturile de radio și altele vor evita din ce în ce mai mult să plătească oamenii pentru muzică.

Unii, însă, sunt entuziasmați de posibilitățile creative.

“Dacă aveți un model statistic de milioane de cântece, puteți întreba algoritmul: ce nu există încă?” spune Yee-King. “Puteți găsi acel spațiu gol și apoi puteți crea ceva nou”.